心理学上发表了多少的错误发现？

几十年来，心理学家一直忽视统计学，因为所需要掌握的唯一知识就是p值小于0.05可以发表，p值大于0.05则不能发表。因此，心理学家使用统计软件来寻求显著性结果，但不理解统计显著性的含义。

自2011年以来，心理学家越来越认识到，只发表显著的研究结果是存在问题的。然而，心理学家却不知道该怎么做。许多人甚至不知道如何解释p值或p < 0.05是什么意思，这可以从社交媒体上的重复帖子反映出来，这些帖子暗示p值或显著性检验没有提供任何信息。

首先，理解p < 0.05的含义并不需要拥有数学学士学历。alpha = 0.05的标准值设置了假阳性结果的上限。对于方向性假设，这意味着当总体效应为0或与样本均值所显示的效应（或样本中相关性的符号）相反时，小于5%的假设检验能出现显著结果，即p < 0.05。也就是说，如果一个样本中显著性为正相关，那么总体中的相关性为零或为负的概率最多为5%。一些读者会指出，这种说法忽略了假设为真或为假的先验概率。并不是说概率正好是5%，确切说概率是未知的。已知的是最大概率是5%，它可以是更少，但不能更多。

	NS	SIG	Sum
TRUE	0	0	0
FALSE	95	5	100
Sum	95	5	100

当我们长期用频率来考虑概率时，所有被检验的假设都为假时，得到假阳性结果的最大概率。在这种情况下，有0个true阳性(true & SIG)和5个false阳性(false & SIG)。因此，所有检验中假阳性的相对频率(k = 100)为5/100 = 0.05。

重要的是，这不是一个经验观察。假阳性结果的最大概率由alpha设置，在假设统计检验正确的前提下，保持在极限。

同样重要的是，使用长期频率来估计概率假设，但我们没有关于该研究的额外信息。例如，如果我们知道在这项研究之前有19项研究检验了相同的假设，并产生了不显著的结果，那么假阳性的概率就会高得多。由于关心的不是单个研究的可能性，而是一系列研究中错误发现的风险，因此贝叶斯主义者和频率论者之间的争论是不同的。即使已知假设为真或假，我们也不能期望alpha = 0.05的假阳性结果超过5%。对于声称p < 0.05是一项重要发现的合理批评是，我们对所有统计测试的误报率不感兴趣。我们更感兴趣的是错误发生的百分比。也就是说，有多少重要的结果可能是假阳性的?

如果所有的假设检验都被发表的话，这个问题就很容易回答了。在这种情况下，我们将获得关于所有统计测试中重要结果的总数信息。在上面的表格中，我们看到100次尝试只得到5个显著的结果。这并不是很确定，因为我们仅凭运气就可以期待5个显著的结果。因此，显著结果是错误发现的风险是5/5 = 100%。

研究有更多发现的情况是很有趣的。下一个示例显示10个结果。由于其中一些发现是真实的，误报率必须小于5。通过反复试验来找出假阳性的最大数量。

	NS	SIG	Sum
TRUE	0	5.3	5.3
FALSE	90	4.7	94.7
Sum	90	10	100

错误假设的最大百分比为94.7，假阳性为4.7%。真实假设的其余5.3%检验在100%效力的情况下，贡献了5.3%的显著结果。很容易看出这是一个最大值，因为效力不能超过100%。或者换一种说法，type-II错误概率(TRUE & NS)不能小于零。错误发现风险为4.7 /(4.7 + 5.3)= 4.7 / 10 = 47%。同样，这不是对虚假发现的实际百分比的估计，这是未知的。假设100个假设中有10个是显著的，这是对错误发现的最大数量的估计。

当观察到更重要的结果时，错误发现的风险会迅速降低。

	NS	SIG	Sum
TRUE	0	15.8	15.8
FALSE	80	4.2	84.2
Sum	80	20	100

有20个显著结果，虚假发现风险为4.2/20 = 21%。

下表显示了显著结果(发现)百分比与错误发现风险之间的关系。

Discoveries	False   Discovery Risk
5	100
10	47
15	30
20	21
25	16
30	12
35	10
40	8
45	6
50	5

该表建议，研究人员应将发现率(显著结果的百分比)控制在50%或以上，以将错误发现的风险控制在5%以下。

来源：https://replicationindex.com/2019/01/12/false-discovery-risk/

声明：部分文章和信息来源于互联网，如转载内容涉及版权等问题，请立即与小编联系，我们将迅速采取适当的措施。

感谢您抽出  · 来阅读此文

更多精彩请点击下列分类文章

↓↓↓

治疗

治疗师承认了自己的愤怒同时也很好地保持了他的专业角色，这样可以帮助患者更好地理解他自己。

向左滑动

关注“自我整合”

从心开始做更好